iT邦幫忙

2026 iThome 鐵人賽

DAY 14
0
AI Security

Agent的系統防禦升級系列 第 14

DAY 14 // 改用 Ollama 本地模型完成 Workspace 模擬

  • 分享至 

  • xImage
  •  

操作後發現 OpenAI API 需要付費 credits,直接改用 Ollama 的免費模型,讓它直接在本機執行。
下載 Ollama 後在 Terminal 執行:

ollama pull qwen3:4b

qwen3:4b 模型中的 4b 可以理解為模型規模約 4 billion parameters。4B 模型的規模比較小,因此更適合拿來進行本機測試。

下載完成後,先測試 Ollama 模型是否能正常運作,可以直接就像和 AI 進行對話,如果模型能夠正常回應,就代表 Ollama、模型以及本機執行環境已經設定完成。

接下來讓 AgentDojo 與 Ollama 模型建立連線,先啟動 Ollama 的服務:

ollama serve

啟動之後,Ollama 會在本機開啟服務,讓其他程式可以透過 HTTP API 與模型進行溝通。接著使用以下指令確認 Ollama 的 API 是否正常運作:

curl.exe http://localhost:11434/v1/models

如果可以正常取得模型資訊,並看到類似:

qwen3:4b

表示目前本機的 Ollama API 已經能夠被查詢,而且 qwen3:4b 模型已經存在。

這一步可以視為 AgentDojo 與 Ollama 之間建立連接前的重要確認。之前使用 OpenAI API 時,AgentDojo 是透過網路連接 OpenAI 的模型服務;這次則改成連接自己電腦上的 Ollama,因此整個架構有所不同。

為了讓 AgentDojo 知道 Ollama API 所使用的連接埠,需要設定環境變數:

$env:LOCAL_LLM_PORT="11434"

11434 是 Ollama 預設使用的本機服務 Port。設定完成後 AgentDojo 就透過 Port 找到本機的 Ollama 服務。

最後,開始進行真正的 Workspace 模擬:

python -X utf8 -m agentdojo.scripts.benchmark -s workspace --model LOCAL --model-id qwen3:4b -ut user_task_0

--model LOCAL 表示這次不是使用 OpenAI 等雲端模型,而是使用本機的 Local LLM。
--model-id qwen3:4b 指定實際使用的模型,也就是先前透過 Ollama 下載的 Qwen3 4B。
-s workspace 則代表使用 AgentDojo 的 Workspace Scenario。
-ut user_task_0 指定要執行的使用者任務。python -X utf8,則是指定 Python 使用 UTF-8 編碼模式,有助於避免在 Windows 環境中處理中文或其他非 ASCII 字元時出現編碼問題。

整個流程可以整理成:

Ollama → 下載 Qwen3 4B → 測試模型 → 啟動 Ollama Server → 確認 localhost API → 設定 LOCAL_LLM_PORT → AgentDojo 連接 Local LLM → 執行 Workspace。

這次解決了前面遇到的 API credits 問題,目前的學習與 AgentDojo 實驗而言, Ollama 的 API 就已足夠使用,能完成基本的 Agent 與 Workspace 測試。


上一篇
DAY 13 // AgentDojo 的 Workspace 模擬以及重新開始
下一篇
DAY 15 // AgentDojo User Task 任務內容在Terminal如何運作?
系列文
Agent的系統防禦升級22
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言